Leveraging video annotations in video-based e-learning

The e-learning community has been producing and using video content for a long time, and in the last years, the advent of MOOCs greatly relied on video recordings of teacher courses. Video annotations are information pieces that can be anchored in the temporality of the video so as to sustain various processes ranging from active reading to rich media editing. In this position paper we study how video annotations can be used in an e-learning context - especially MOOCs - from the triple point of view of pedagogical processes, current technical platforms functionalities, and current challenges. Our analysis is that there is still plenty of room for leveraging video annotations in MOOCs beyond simple active reading, namely live annotation, performance annotation and annotation for assignment; and that new developments are needed to accompany this evolution.Comment: 7th International Conference on Computer Supported Education (CSEDU), Barcelone : Spain (2014

Vers l'analyse de l'engagement de l'apprenant : une approche par la visualisation multi-échelle de traces hétérogènes

National audienceDe nombreux travaux de recherche dans le domaine des Learning Analytics proposent des indicateurs statistiques tels que la durée ou le nombre d'actions réalisées sur les outils ou les ressources utilisés. Ces indicateurs supportent généralement le suivi et la réflexivité des activités de l'apprenant en renvoyant des informations sur l'utilisation de chaque outil et ressource. Mais les contextes d'apprentissage en ligne sont de plus en plus complexes, permettant l'utilisation de ressources variées. Dans ces nouveaux contextes, l'activité de l'apprenant devient " hétérogène " (avec plusieurs outils et types de documents), et " discrète " (interrompue par les actions sur chaque outil ou document). Ainsi, les bilans d'indicateurs statistiques ne suffisent pas pour comprendre l'activité de l'apprenant et plus particulièrement son engagement dans l'activité et les pratiques de régulation mises en place. Nos travaux de recherche visent a proposer aux enseignants, apprenants et concepteurs, des visualisations des traces hétérogènes des apprenants avec une attention particulière sur leur engagement et leurs pratiques de régulation. Ces visualisations cherchent a favoriser l' interprétation de ces comportements grâce à des analyses a plusieurs niveaux temporels et de groupe (apprenant, classe, institution)

Modelling and visualising traces for reflexivity in synchronous collaborative systems

Lauréat du Best Paper AwardInternational audienceThis article addresses issues related to traces modelling and visualisation in synchronous collaborative learning. The objective is to propose models and tools for representing, transforming, sharing and visualizing traces of users' experiences. The traces here represent the users' activities in their interactions with the learning platform. Our proposition is based on reflexive learning defined as the ability to interact with the situation, in order to meet one's own limitations. This work takes place in the ITHACA project which aims at developing an online learning platform that uses interaction traces as knowledge sources on, and for, the learners' learning as individuals or groups. In this paper, we propose a general framework for trace management and sharing, a generic model of synchronous collaborative activity based on the notion of interaction modes, which we specialized for whiteboard sharing and text chatting. We modelled an IRC client and developed a first implementation

Prototyping Immersive Analytics: Experiments with Design Students

International audienceImmersive analytics is an emerging field of research that explores the use of immersive technologies for data analysis. We argue that immersion is different from the simple use of 3D graphics and therefore requires new methods of representation and interaction with the data. We believe in the benefits of interdisciplinarity, especially with design, to help shape this new field. We describe two workshops that we have organized with design students, and we share lessons learned and key findings

A Knowledge-Based Approach to Augment Applications with Interaction Traces

International audienceThis paper presents a trace-based framework for assisting personalization and enrichment of end-user experience in an application. We propose a modular ontology-based architecture, to provide semantics for interaction traces, observed elements and their associated objects, and we extend existing inference services, with a declarative and generic approach, in order to reason with those interaction traces. We present the architecture of our framework and its reasoning levels, provide a proof of concept on a medical Web application, and emphasize that different kinds of actors can benefit from the supported inferences

Reflection-in-Action Markers for Reflection-on-Action in Computer-Supported Collaborative Learning Settings

International audienceWe describe an exploratory study on the use of markers set during a synchronous collaborative interaction (reflection-in-action) for later construction of reflection reports upon the collaboration that occurred (reflection-on-action). During two sessions, pairs of students used the Visu videoconferencing tool for synchronous interaction and marker setting (positive, negative or free) and then individual report building on the interaction (using markers or not). A quantitative descriptive analysis was conducted on the markers put in action, on their use to reflect on action and on the reflection categories of the sentences in these reports. Results show that the students (1) used the markers equally as a note-taking and reflection means during the interaction, (2) used mainly positive markers both to reflect in and on action; (3) paid more attention in identifying what worked in their interaction (conservative direction) rather than in planning on how to improve their group work (progressive direction); (4) used mainly their own markers to reflect on action, with an increase in the use of their partners' markers in the second reflection reports; (5) reflected mainly on their partner in the first reflection reports and more on themselves in the second reports to justify themselves and to express their satisfaction

The Visu Reflection Tool for Socio-Emotional Awareness in CSCL situations

International audienceAn exploratory study has been conducted in which 12 students in Bachelor of Science in Psychology were asked to use the Visu reflection tool during Computer-Supported Collaborative Learning (CSCL) situations. Visu is a web videoconferencing platform that allows participants to put reflective markers during their collaborative learning activity, and to review the traces of their synchronous collaboration later. In this study, co-learners used two types of markers: (1) free markers and (2) socio-emotional markers to express either negative or positive feelings about the way they collaborate together. Our contribution is related to the first focus of the workshop: emotion awareness in CSCL. In line with this focus, our main questions are as follows: (1) How can the Visu tool help learners express and share their feelings about collaboration? How does this affect the way they interact and learn together? (2) How do they use the Visu markers after the collaboration to self-reflect on their group processes? In this paper, we first describe the Visu platform. We then present a study we have carried out to answer the questions presented above. We finally conclude with the contributions of our research to the workshop topic

Curtains Up! Lights, Camera, Action! Documenting the Creation of Theater and Opera Productions with Linked Data and Web Technologies

International audienceFor this paper, in the context of the French research project Spectacle en Ligne(s), we have recorded the entire set of rehearsals of one theater and one opera production using state-of-the-art video equipment. The resulting raw video and audio tracks as well as manually generated annotation data were then preprocessed in order to localize actors and detect their dialogues. Based on these preprocessing steps, we have built a Web-based hypervideo application that allows for navigation through performance time, performance space, and rehearsal time using modern HTML5 Web technologies like the emerging Web Components standard. We publish and consume the annotation data as so-called Linked Data Fragments, a novel way to make triple-based structured data available in a scalable way. As a direct outcome, researchers interested in the genetic analysis and the creation process of live performances can, thanks to this application, freely zoom in and out of scenes, rehearsal sessions, and stage locations in order to better understand the different steps on the way to a chef d'oeuvre. A live demo of the application is publicly available at the URL http://spectacleenlignes.fr/hypervideo/

Vers une phénoménologie des inscriptions numériques. Dynamique de l'activité et des structures informationnelles dans les systèmes d'interprétation.

In the first chapter we first study the notion of inscription of knowledge as proposed by Bruno Bachimont. As we consider it is not sufficiently tied with human action and activity as considered by "post-cognitivist" theories, we propose to consider the notion of informational structures (structures informationnelles). Informational structures are digital inscriptions of knowledge that are actually manipulated by subjects during their computer-mediated activity, they can be canonical (explicitely manipulated by the system) or non canonical (but as such, they can become canonical if reified). The notion of informational structure is useful to study how digital inscriptions and activity are interwoven at different analysis levels, it is associated to the notion of information space that users enact during their activities, and enables to study at the individual level what could be called a phenomenology of digital inscriptions. In the second chapter of the document, we focus on explicit information spaces that users enact during knowledge work, and detail the notions of interpretation systems within which inscriptions of knowledge circulate. We present our work on video active reading and the Advene project. In the third chapter, we propose to define traces as inscriptions that are used during an activity as signs of the past, and we discuss the notion of interpretation systems that are dedicated to traces. We present our work on such systems, along firest the Musette (Modelling Users and Tasks to Traces Experience) approach and then the mTBS (Modelled Trace-Based systems) approach.Ce mémoire est l'occasion de présenter nos travaux à l'Université Claude Bernard Lyon 1. Il est composé de trois parties, la première visant à proposer une thématisation originale des liens entre activité et inscriptions numériques de l'activité sous la forme de structures informationnelles, les deux suivants étant consacrés à nos thématiques principales de recherche qui sont, d'une part la lecture active audiovisuelle et les systèmes d'interprétation, et d'autre part les systèmes à base de traces modélisées. Le premier chapitre est consacré à l'exploration des liens entre l'activité informatiquement médiée et les représentations qui y sont impliquées. Une première étude critique décrit la notion d'inscription de connaissances proposée par B. Bachimont au sein d'une théorie du support pour permettre de penser la rencontre ou l'expérience qu'une conscience fait des dispositifs technologiques et des inscriptions. Cette proposition vise à thématiser la numéricité des inscriptions et nous intéresse donc à ce titre, mais elle se révèle à notre sens insuffisante pour penser un individu actif engagé dans un processus de manipulation d'inscriptions. Une seconde étude est alors consacrée aux liens entre action, activité et inscriptions dans les théories dites " post-cognitivistes " de la cognition. Les inscriptions soutiennent l'activité et la sous-tendent tout à la fois, et nous nous intéresserons particulièrement aux inscriptions dans leur perception et leur manipulation par un être humain suivant la théorie instrumentale. Cependant, les inscriptions en tant qu'elles peuvent être numériques ne sont que peu thématisées. Notre dernière étude est orientée autour de la proposition de penser la notion de structure informationnelle et les instruments associés comme permettant d'articuler le monde numérique à l'activité humaine et l'activité humaine au monde numérique. Une structure informationnelle est une inscription numérique en acte, objectivable, mais non obligatoirement canonique, c'est-à-dire manipulée explicitement par le système. Cette proposition permet de penser le côté humain de l'activité instrumentée tout en conservant le calcul et les représentations associées comme préoccupation informatique. Nous présentons également la notion d'espace informationnel qu'un utilisateur énacte, et les directions de recherche ouvertes par nos propositions. Le deuxième chapitre est principalement consacré à la présentation de nos travaux sur les systèmes de lecture active audiovisuelle. Nous proposons d'abord une étude rapide sur le cadre général des technologies intellectuelles comme soutenant le travail intellectuel, l'activité ouverte d'interprétation et de manipulation d'inscriptions de connaissances personnelles. De telles inscriptions et réinscriptions se font au sein de ce que nous proposons d'appeler des systèmes d'interprétation qui offrent aux utilisateurs la possibilité de manipuler consciemment des structures informationnelles de toutes sortes, par exemple sous la forme de données, de schémas ou de feuilles de style et de formulaires, et de partager celles-ci comme réifications de pratiques. La lecture active audiovisuelle est une activité intellectuelle qui s'effectue dans un système d'interprétation permettant de construire des hypervidéos à partir d'annotations. Nous présentons alors nos travaux autour du projet Advene (Annotate Digital Video, Exchange on the NEt), notamment les modèles associés, l'outil générique Advene pour l'annotation et la construction d'hypervidéos, ainsi que quelques applications de lecture active associées à l'analyse des interactions et la critique filmique. Nous pouvons alors tirer un bilan des presque dix ans de ce projet et proposer quelques directions pour la suite. Le troisième et dernier chapitre présente essentiellement nos travaux sur les traces numériques. Nous définissons d'abord la notion de trace en général comme inscription permettant de viser le passé au cours d'une interprétation et présentons comment les traces d'activité médiées sont largement utilisées au sein de systèmes variés allant de l'analyse à la réflexivité. Nous considérons que l'enjeu est de manipuler des traces numérique explicites définies comme " inscriptions canoniques temporellement orientées " dans des systèmes d'interprétation orientés trace. Nous pouvons alors présenter la notion de trace modélisée comme un certain type de trace explicite, ainsi que nos travaux dans ce cadre depuis plus de dix ans : l'approche Musette, le cadre général des systèmes de base de traces modélisées (SBTm) ainsi que la formalisation des traces et des transformations pour construire des systèmes de gestion de bases de traces (SGBT). Différents travaux applicatifs sont ensuite présentés qui permettent d'illustrer les différentes utilisations des traces modélisées dans des contextes applicatifs variés, visant notamment le support à l'awareness, à la remémoration, à la réflexivité, à la redocumentation et au partage, ou encore à la reprise d'activité